Investigations on discriminative training criteria

In this work, a framework for efficient discriminative training and modeling is developed and implemented for both small and large vocabulary continuous speech recognition. Special attention will be directed to the comparison and formalization of varying discriminative training criteria and corresponding optimization methods, discriminative acoustic model evaluation and feature extraction. A formally unifying approach for a class of discriminative training criteria including Maximum Mutual Information (MMI) and Minimum Classification Error (MCE) criterion is presented, including the optimization methods gradient descent (GD) and extended Baum-Welch (EB) algorithm. Using discriminative criteria, novel approaches to splitting of mixture Gaussian densities and to linear feature transformation are derived. Furthermore, efficient algorithms for the application of discriminative training to speech recognition with both small and large vocabulary are developed. Finally, a novel evaluation method for the stochastic models used in speech recognition is derived using methods related to discriminative training. Experiments have been carried out on the TI digit string corpus for American English continuous digit strings, the SieTill corpus for telephone line recorded German continuous digit strings, the Verbmobil corpus for German spontaneous speech and the Wall Street Journal corpus for American English read speech. Zusammenfassung In dieser Arbeit wird ein Rahmen für effizientes diskriminatives Training entwickelt und für kontinuierliche Spracherkennung mit kleinen und großen Vokabularien implementiert. Besondere Aufmerksamkeit wird dabei auf den Vergleich und Formalisierung diverser diskriminativer Trainingskriterien und entsprechender Optimierungsmethoden, diskriminative Bewertung akustischer Modelle und die Merkmalsextraktion gelegt. Für eine Klasse diskriminativer Trainingskriterien wird ein formal einheitlicher Rahmen eingeführt, der unter anderem das Maximum Mutual Information (MMI) und das Minimum Classification Error (MCE) Kriterium enthält, und auch die entsprechenden Optimierungsmethoden Gradientenabstieg (GD) und den erweiterten Baum-Welch (EB) Algorithmus umfasst. Es werden neue diskriminative Ansätze zum Aufsplitten von Gaußschen Mischverteilungen und zum Training linearer Merkmalstransformationen vorgestellt. Des weiteren werden effiziente Algorithmen für die Anwendung von diskriminativem Training auf die Spracherkennung bei kleinem wie großem Vokabular entwickelt. Schließlich wird ein neuer Ansatz zur Bewertung der in der Spracherkennung verwendeten stochastischen Modelle vorgestellt, der auf Methoden aufbaut, die für das diskriminative Training entwickelt wurden. Experimente wurden auf dem TI digit string Korpus (Ziffernketten in amerikanischem Englisch), dem SieTill Korpus (deutsche Ziffernketten, Telefonqualität) durchgeführt, dem Wall Street Journal Korpus (gelesenes amerikanisches Englisch), sowie auf dem Verbmobil Korpus für deutsche Spontansprache durchgeführt.